Stacking the Layers

Forward Pass


순전파(forward pass)는 입력에서 시작해 각 층의 가중합과 활성화를 차례로 계산해 출력을 얻는 과정이다. 가중치 하나를 바꾸면 그 연결 뒤에 계산되는 값만 달라진다.

순전파입력 → 은닉층 → 출력 순서로 값을 계산한다.
은닉 유닛 값hⱼ = ReLU(zⱼ)이며 다음 층의 입력이 된다.
출력 점수 ss = h₁ − 4h₂ − 0.5이며 부호로 범주를 예측한다.

입력을 넣으면 은닉 유닛과 출력이 차례로 계산된다

입력 x₁, x₂를 바꾸면 두 은닉 유닛의 가중합과 활성화 값, 출력 점수와 예측이 앞에서부터 차례로 바뀐다.

순전파 계산입력, 은닉, 출력 값
원 안의 수가 각 노드의 값이고 선 위의 수가 가중치다. 초록 테두리는 0보다 큰 값을 내보낸 유닛, 회색 점선 테두리는 ReLU가 0으로 바꾼 유닛이다. 은닉 유닛 1의 절편은 0, 유닛 2의 절편은 −1, 출력 절편은 −0.5다.

출력 가중치 하나를 바꾸면 그 뒤의 점수만 달라진다

h₂에서 출력으로 가는 가중치 w를 바꾸면 은닉값은 그대로이고, XOR 네 관측의 출력 점수와 예측만 바뀐다.

행은 XOR 관측이다. 은닉값 열은 w와 무관하고, 점수 열 s = h₁ + w·h₂ − 0.5만 바뀐다. 초록 칸은 정답과 같은 예측, 빨간 글자는 틀린 예측이다.